Het oude kasteel van Losange, vroeger een echte waterburcht, werd volledig vernield in de 17de eeuw. De grondvesten van deze waterburcht ontdekte men in 1941 in de vijver nabij het huidig kasteel.
Het nieuwe kasteel ontstond in het begin van de 18de eeuw door verbouwing en vergroting van de dienst- en bijgebouwen van de oude waterburcht. Van 1912 tot 1920 (met de oorlogsonderbreking) werd het kasteel door architect V. Pauwels gerestaureerd en binnenin gemoderniseerd. De neogotische kapel, met twee mooie glasramen van de Gentenaar Camille Ganton, dateert ook uit die periode.
In 1944 werd het kasteel van Losange zwaar geteisterd tijdens het von Runstedt offensief, maar na de Tweede Wereldoorlog grondig hersteld. In 1958 kocht de familie d’Udekem d’Acoz het kasteel.
In 1971 kwam het kasteel in handen van graaf Patrick d’Udekem d’Acoz en zijn vrouw, gravin Anne Komorowska, de ouders van koningin Mathilde, die het sinds 1957 onbewoonde kasteel grondig renoveerde. Het kasteel van Losange maakt voortaan deel uit van de Belgische geschiedenis, aangezien koningin Mathilde er haar kindertijd doorgebracht.